package scala

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.stat.Statistics
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 项目名称:spark-learn<br>
  * 包名:scala<br>
  * 用于:spark-learn<br>
  * 创建时间:2019年03月16日<br>
  * 更新时间:2019年03月16日<br>
  *
  * @author :lds（创建人）<br>
  * @version :v1.0（版本号）<br>
  * @since jdk1.8
  */
object TestSummary {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("TestSummary")
    val sc = new SparkContext(conf)
    val rdd = sc.textFile("conf\\testSummary2.txt").map(_.split(" ").map(_.toDouble)).map(line => Vectors.dense(line))
    val summary = Statistics.colStats(rdd)
    println(summary.mean)
    println(summary.variance) //标准差
    println(summary.normL1) //曼哈顿距离
    println(summary.normL2) //欧几里得距离

  }

}
